Econometría II: Logit Probit

Departamento de Economía

Carlos A. Yanes G.

2023-11-13

Paquetes con que se trabaja la sesión

Los paquetes que se van a utilizar en la sesión de hoy son:

Note

Para trabajar en esta ocasión vamos a usar los paquetes de :

library(pacman)
p_load(tidyverse, summarytools, sjPlot, flextable)

Preambulo

Recordemos

  • Hipótesis nula (H0): \(\widehat{\beta} = \beta\)

  • Hipótesis alternativa (H1): \(\widehat{\beta} \neq \beta\)

Hay cuatro posibles resultados de nuestra prueba:

  1. No rechazamos la hipótesis nula y la nula es cierta.
  2. Rechazamos la hipótesis nula y la nula es falsa.
  3. Rechazamos la hipótesis nula, pero la nula es realmente cierta (error de tipo I).
  4. No rechazamos la hipótesis nula, pero la nula es realmente falsa (error de tipo II).

Recordemos

Errores

No rechazamos la hipótesis nula y la nula es cierta.

  • El acusado fue condenado, ¡pero no cometió el delito!
  • Error tipo I (también conocido como falsos positivos)

No rechazamos la hipótesis nula, pero en realidad la nula es falsa.

  • El acusado fue absuelto, ¡pero cometió el delito!
  • Error de tipo II (también conocido como falso negativo)

Introducción modelos logísticos

Variables dependientes dicotómicas

Definición de Variables (recordeis)

  • Discretas (con rango finito de valores):
    • Dicotómicas
    • Politómicas
  • Continuas:
    • Un rango (teóricamente) infinito de valores.
  • NOIR: Nominal, Ordinal, Intervalos, Razón

Variables dependientes dicotómicas

Definición de Variables (recordeis)

Tipo Características Propiedad de números Ejemplo
Nominal Uso de números en lugar de palabras Identidad Nacionalidad
Ordinal Números se usan para ordenar series ranking Nivel educativo
Intervalos Intervalos iguales entre números igualdad Temperatura
Razón Cero real aditividad Distancia

Clasificación

  • Nominal: Números empleados como etiquetas (ej. sexo, raza)
  • Ordinales: Distintas categorías puede sen ordenados en serie. Posición, no distancia. P.e.(cargos en una empresa)
  • Intervalares: Escalas de unidades iguales. Diferencia entre dos números consecutivos que refleja un diferencia. P.e. (Horas del día)
  • Razón: caracterizados por la presencia de un cero absoluto. (ej. frecuencias de eventos)

Clasificación

Variable (X) Variable Dependiente Categórica Variable Dependiente Continua
Categórica Análisis de tabla de Contigencia, Ji-2 Análisis de Varianza ANOVA, Pruebas T
Continua Regresión Logística Correlación / Regresión Lineal

Modelo Logistico

Titanic

Code 
load("dattitan.Rdata")
base_t <- tt %>% select(survived,sex,age )  
print(dfSummary(base_t, headings = FALSE), method = "render") #Summarytools
No Variable Stats / Values Freqs (% of Valid) Graph Valid Missing
1 survived [factor]
1. No sobrevive
2. Sobrevive
619 ( 59.2% )
427 ( 40.8% )
1046 (100.0%) 0 (0.0%)
2 sex [factor]
1. Hombre
2. Mujer
658 ( 62.9% )
388 ( 37.1% )
1046 (100.0%) 0 (0.0%)
3 age [numeric]
Mean (sd) : 29.9 (14.4)
min ≤ med ≤ max:
0.2 ≤ 28 ≤ 80
IQR (CV) : 18 (0.5)
98 distinct values 1046 (100.0%) 0 (0.0%)

Generated by summarytools 1.0.1 (R version 4.3.2)
2023-11-13

Titanic

Code 
graph01 <-ggplot(tt, 
     aes(survived, fill=survived)) + 
  geom_bar() + 
  geom_text(
     aes(label = scales::percent((..count..)/sum(..count..))),
     stat='count',size=10, vjust = 3) +
  labs(title = "Sobrevivientes", x = "Si/no", y = "Porcentaje (%)") +
  theme(plot.title = element_text(size = 14, face = "bold"),
        axis.title = element_text(size = 12))+
  theme(legend.position="none", 
        text = element_text(size = 30),
        axis.title=element_blank())
graph01

Análisis

  • En el barco de “El Titanic” habían mas Hombres que Mujeres.
Code 
(ggplot(tt, aes(sex, fill=sex))
 + geom_bar()
 + geom_text(
     aes(label = scales::percent((..count..)/sum(..count..))),
     stat='count',
      size=10,
    vjust = 3)+
  labs(title = "Genero al Nacer", x = "", y = "")+ 
  theme(plot.title = element_text(size = 14, face = "bold"),
        axis.title = element_text(size = 12),
        axis.text.y = element_text(angle = 90, hjust = 1))+
  theme(legend.position="none", text = element_text(size = 30),axis.title=element_blank())
)

Análisis

  • Qué ocurre si combinamos supervivencia con Hombres y Mujeres?.
Code 
ggplot(data = tt) +
  geom_mosaic(aes(x = product(survived,sex), fill=survived)) + 
  labs(title='Porcentajes de Supervivencia')

Resultado

  • El 75% de las mujeres sobrevive, mientras que el 25% no lo hace.

Elephant

Fué el género un determinante de la supervivencia?

Con regresión

Code 
str(tt$sex)
#>  Factor w/ 2 levels "Hombre","Mujer": 2 1 2 1 2 1 2 1 2 1 ...
Code 
reg_tit=lm(survived ~ sex, data= tt)
#> Warning in model.response(mf, "numeric"): using type = "numeric" with a factor
#> response will be ignored
#> Warning in Ops.factor(y, z$residuals): '-' not meaningful for factors

Advertencia de R. Nos dice que nuestra variable dependiente será tratada como continua -cuando en realidad es un factor (cualitativo)!!, o no?-

MCO con Variables Cualitativas

tt <- tt %>% mutate(survived_n=recode(survived,
"No sobrevive"=0, "Sobrevive"=1))
str(tt$survived_n)
reg_tit=lm(survived_n ~ sex, data=tt)
summary(reg_tit)
  Modelo MPL
Predictores β std. Error
(Intercept) 0.205 *** 0.016
sex [Mujer] 0.547 *** 0.027
Observations 1046
R2 / R2 adjusted 0.289 / 0.289
* p<0.05   ** p<0.01   *** p<0.001
  • El valor del intercepto \(\widehat{\beta}_0\)=0.205, es el valor “predicho” para la categoría de referencia en genero conocido como Hombres.
  • El \(\widehat{\beta}_1\) del género/sex (mujer) =0.547 sumado al intercepto nos brinda el porcentaje de supervivencia de Mujeres

Funciona por lo pronto

Límitaciones MCO

  • El modelo busca ajustarse dentro de las categorias de la variable y funciona bien por lo pronto

Límitaciones MCO

  • Con una variable númerica como la Edad se comporta aún mejor y busca tener el ajuste para ellos

Límitaciones MCO

  • Veamos SI hubieran sobrevivido los menores de 20 años y muerto todos los mayores de 40 años

Tenemos problemas

Entonces??

  • Eventuales predicciones fuera del rango de probabilidades posibles

Qué pasa con todo ese cuento de la regresión?

Los métodos de regresión no son buenos cuando se tienen múltiples categorías.

Considere que tenemos tres elecciones para ir de un sitio a otro \((A\rightarrow B)\) y estos son Avíon, Carro, Bus-intermunicipal. Cómo podríamos entonces manejar eso en una regresión que trabaja con variables numéricas?

  • Opción 1 \[Y=\begin{cases} \displaystyle 1 & \text{si }\color{#e64173}{\text{ Avión}} \\ \displaystyle 2 & \text{si }\color{#6A5ACD}{\text{ Carro}} \\ \displaystyle 3 & \text{si }\color{#FFA500}{\text{ Bus}} \\ \end{cases}\]
  • Opción 2 \[Y=\begin{cases} \displaystyle 1 & \text{si }\color{#6A5ACD}{\text{ Carro}} \\ \displaystyle 2 & \text{si }\color{#e64173}{\text{ Avión}} \\ \displaystyle 3 & \text{si }\color{#FFA500}{\text{ Bus}} \\ \end{cases}\]
  • Opción 3 \[Y=\begin{cases} \displaystyle 1 & \text{si }\color{#FFA500}{\text{ Bus}} \\ \displaystyle 2 & \text{si }\color{#e64173}{\text{ Avión}} \\ \displaystyle 3 & \text{si }\color{#6A5ACD}{\text{ Carro}} \\ \end{cases}\]

Houston!! we have a problem 🚀. La predicción será muy sensible debido a que no es clara el input de datos y el orden de estas puede afectar los resultados.

Por ende

La regresión logística ofrece una solución a los problemas del rango de predicciones y de ajuste a los datos del modelo de probabilidad lineal 😬

Se logra mediante una transformación de lo(s) coeficientes beta’(s) a coeficientes LOGIT

Regresión Logistica

Regresión Logistica

Definamos

Definición de modelo Logit

  • Es el logaritmo de los (odds)
  • … qué rayos son los odds?
  • Una razón de probabilidades
  • Para llegar hasta regresión logística, hay que pasar por los odds (chances), y los odds-ratio (proporción de chances)

Definición de modelo Logit

Odds (chances)

probabilidad de que algo ocurra dividido por la probabilidad de que no ocurra

\[Odds=\frac{p}{1-p}\]

Ejemplo
Ej. con lo del Titanic: 427 sobrevivientes (41%), 619 muertos (59%)

\[Odds_{sobrevivir}=\frac{427}{619} \Rightarrow \frac{0.41}{0.59}=0.69\]

Es decir, las chances de sobrevivir es de 0.69

Definición de modelo Logit

Odds

  • Odds de 1 significan chances iguales (cero relación), menores a 1 son relaciones negativas y mayores a uno (1) son positivas
Propiedad simétrica
Un \(Odd=4\), es una asociación positiva proporcional a la asociación negativa de \(Odd=1/4=0.25\)

Odds titanics

Code 
table(tt$survived,tt$sex)
#>               
#>                Hombre Mujer
#>   No sobrevive    523    96
#>   Sobrevive       135   292
Code 
round(prop.table(table(tt$survived,tt$sex),2),2)
#>               
#>                Hombre Mujer
#>   No sobrevive   0.79  0.25
#>   Sobrevive      0.21  0.75
  • El 21% de los hombres sobrevive mientras el 79% no sobrevive.
  • \[Odds_{hombres}=\frac{0.21}{0.79}=0.27\]
  • La probabilidad de sobrevivencia en los hombres es 0.27 veces a la no sobrevivencia o en otros términos: Hay 27 hombres que sobreviven por cada 100 hombres que no sobreviven

Odds titanics

Code 
table(tt$survived,tt$sex)
#>               
#>                Hombre Mujer
#>   No sobrevive    523    96
#>   Sobrevive       135   292
Code 
round(prop.table(table(tt$survived,tt$sex),2),2)
#>               
#>                Hombre Mujer
#>   No sobrevive   0.79  0.25
#>   Sobrevive      0.21  0.75
  • El 75% de las mujeres sobrevive mientras el 25% no sobrevive.
  • \[Odds_{mujeres}=\frac{0.75}{0.25}=3\]
  • La probabilidad de sobrevivencia en las mujeres es 3 veces a la no sobrevivencia o en otros términos Hay 300 mujeres que sobreviven por cada 100 mujeres que no sobreviven

Odds ratio (OR)

Los odds-ratio (o razón de chances) permiten reflejar la asociación entre las chances de dos variables dicotómicas ¿Tienen las mujeres más chances de sobrevivir que los hombres?

Code 
sjt.xtab(tt$survived, tt$sex,
        show.col.prc=TRUE,
        show.summary=FALSE
)
survived sex Total
Hombre Mujer
No sobrevive 523
79.5 %		 96
24.7 %		 619
59.2 %
Sobrevive 135
20.5 %		 292
75.3 %		 427
40.8 %
Total 658
100 %		 388
100 %		 1046
100 %

Odds ratio (OR)

¿Cuantas más chances de sobrevivir tienen las mujeres respecto de los hombres?

  • \[OR=\frac{p_{m}/(1-p_{m})}{p_{h}/(1-p_{h})}=\frac{0.753/(1-0.753)}{0.205/(1-0.205)}=\frac{3.032}{0.257}=11.78\]
  • OR supervivencia mujeres / OR supervivencia hombres
  • Las chances de sobrevivir de las mujeres son 11.78 veces más que las de los hombres.

El Odds-Ratio (OR) nos permiten expresar en un número la relación entre dos variables categóricas que nos interesan

Por lo tanto, es una versión del \(\beta\) para dependientes categóricas

Pero … el OR tiene algunas limitaciones que requieren una transformación adicional

Transformación

  • Modelo de Regresión Lineal \[\begin{align} p(X) = \beta_0 + \beta_1 X \end{align}\]
  • Modelo logístico: transformación de predictores del logit \[\begin{align} p(X) = \dfrac{e^{\beta_0 + \beta_1 X}}{1 + e^{\beta_0 + \beta_1 X}} \end{align}\]

Que es eso de función logit \(\left(\frac{e^x}{1+e^x}\right)\)?

  • Asegura que estemos en el intervalo 0 \((x\rightarrow-\infty)\) hasta 1 \((x\rightarrow\infty)\)
  • Nos permite tener la curva (s) de nuestra variable no lineal que se ajusta a los datos.

Transformación

Un poco de matemáticas es: \[\begin{align} p(X) = \dfrac{e^{\beta_0 + \beta_1 X}}{1 + e^{\beta_0 + \beta_1 X}} \implies \color{#e64173}{\log \left( \dfrac{p(X)}{1-p(X)}\right)} = \color{#6A5ACD}{\beta_0 + \beta_1 X} \end{align}\]

Recuerde que la definición de los log odds: son conocidos como los verdaderos logit. Si este valor es mayor a (1), nos indica que su relación es mas fuerte con respeto a la variable resultado.

Transformación

\[\begin{align} \color{#e64173}{\log \left( \dfrac{p(X)}{1-p(X)}\right)} = \color{#6A5ACD}{\beta_0 + \beta_1 X} \end{align}\]

  • \(\color{#6A5ACD}{\beta_j}\) nos dice como \(x_j\) afecta a los log odds
  • El odds \(= \dfrac{p(X)}{1-p(X)}\).
  • Si \(p(X) > 0.5\), entonces el ratio es \(>1\) y log odds \(> 0\).
  • Queremos escoger \(\color{#6A5ACD}{\beta_j}\) tal que
  • log odds son superiores a cero para las observaciones en las que \(y_i=1\)
  • log odds serán aún mayores para las zonas de \(x_j\) donde la observación \(i\)s nos brinda \(y_i=1\)

Un poco más de la formalidad

La regresión logística o the likelihood function nos permite manejar el comportamiento categórico. De alguna manera todo lo hace mejor con los estimadores.

\[\begin{align} \mathop{\ell}(\beta_0,\beta_1) = \prod_{i:y_i=1} \mathop{p}(x_i) \prod_{i:y_i=0} (1-\mathop{p}(x_i)) \end{align}\]

  • La función de probabilidad se maximiza de tal manera que:
    • Haciendo la \(p(x_i)\) mas grande para individuos con \(y_i = 1\)
    • Haciendo la \(p(x_i)\) mas pequeña para individuos con \(y_i = 0\)

Mas simple: La máxima verosimilitud, maximiza un rendimiento predictivo, condicionado al modelo que hemos establecido.

Modelo Probit

Modelo Normit o Probit

Tip

Es un algoritmo “hermano” del logit. No varian ni siquiera mucho sus resultados, solo que se asume que el residuo \(e\sim N(0, \sigma^2)\).

El modelo Probit usa la función acumulada de distribución de la distribución normal \(\Phi\) para especificar la probabilidad y usar la parte de \(0\leq \Phi \leq 1\).

\[\tag{1} \begin{align} p(X) = \Phi(\beta_0 + \beta_1 x_1) \implies \color{#e64173}{\int_{-\infty}^{\beta_0+\beta_1x_1}} \; \frac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}dz \end{align}\]

Ahora ML busca encontrar los estimadores \(\beta's\) \[\tag{2} \begin{align} \widehat{\beta}= \text{argmax}\; \text{log} \left(\prod_i^n f_i\right)= \sum_i^n\; \text{log}(f_i) \end{align}\]

Modelo Normit o Probit

Tomamos la ecuación (2) y proponemos la aplicación de la propiedad de logaritmo y entonces tenemos:

\[\tag{3} \begin{align} \sum_i^n\; \text{log} \left( p_i^{y_i}(1-p_i)^{1-y_i} \right) \end{align}\]

Solo nos queda bajar los exponentes 😅

\[\tag{4} \begin{align} \sum_i^n\; \text{log} \left[ \color{#ffa500}{y_i} log(p_i)+\color{#ffa500}{1-y_i}log(1-p_i) \right] \end{align}\]

Por ende el modelo Probit

\[\begin{align} \mathop{\text{Pr}}(Y=1|X_1,X_2)= \Phi(\beta_0+\beta_1X_1+\beta_2X_2) \end{align}\]

Suponga que los betas fueron obtenidos y la variable \(X_1=0.4\) y la variable \(X_2=1\), entonces la probabilidad de que ocurra lo anterior es:

\[\begin{align} \mathop{\text{Pr}}(Y=1|X_1,X_2)= \Phi(-1.6+2\color{#e64173}{(0.4)}+0.5\color{#6A5ACD}{(1)}) \end{align}\]

\[\begin{align} \text{valor z}=-1.6+2\color{#e64173}{(0.4)}+0.5\color{#6A5ACD}{(1)}=-0.3 \end{align}\]

Busque ese valor en la tabla de la normal y encontrará que la probabilidad es de 38%

Todo lo anterior ahora en

Modelo Logit

\[Logit=ln(Odd)=ln(\frac{p}{1-p})\]

modelo_titanic <-
glm(survived ~ sex,
data = tt,
family = "binomial")

## resultados
mlogit<- as_flextable(modelo_titanic) 
mlogit<- add_header_lines(mlogit, values = "Tabla #1 Logit")
mlogit
Code 
modelo_titanic <-
glm(survived ~ sex,
data = tt,
family = "binomial")

## resultados
mlogit<- as_flextable(modelo_titanic) 
mlogit<- add_header_lines(mlogit, values = "Tabla #1 Logit")
mlogit

Tabla #1 Logit

Estimate

Standard Error

z value

Pr(>|z|)

(Intercept)

-1.354

0.097

-14.029

0.0000

***

sexMujer

2.467

0.152

16.208

0.0000

***

Signif. codes: 0 <= '***' < 0.001 < '**' < 0.01 < '*' < 0.05

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 1415 on 1045 degrees of freedom

Residual deviance: 1102 on 1044 degrees of freedom

Modelo Logit

  • Coeficiente logit asociado a sexo (mujer) = +2.467
  • El log-odds de sobrevivencia aumenta para las mujeres en 2.467 en comparación con los hombres.
  • Transformamos \[e^{logit}=Odds_X\]
  • Y luego al aplicar \[e^{2.467}=11.78\]
Code 
exp(2.467)
#> [1] 11.78703
  • Las chances (odds) de sobrevivir siendo mujer son 11.78 veces más que las de un hombre.

De logits a odds

\[Odds_X=e^{\beta_0 + \beta_jX_j}\]

  • Predicción para mujeres= -1.354 + (2.467 * Sexo=1) = 1.113
  • Predicción para hombres= -1.354 + (2.467 * Sexo=0) = -1.354

\[Odds_{mujer}=e^{1.113}=3.032\] \[Odds_{hombre}=e^{-1.354}=0.257\]

Transformación a probabilidades predichas

\[p_{mujeres}=\frac{e^{1.113}}{1+e^{1.113}}=\frac{3.04}{4.04}=0.752\] \[p_{hombres}=\frac{e^{-1.354}}{1+e^{-1.354}}=\frac{0.258}{1.258}=0.205\]

Probit Titanic

Modelo Probit

\[Probit=ln \left(\frac{p(x)}{1-p(x)}\right)=X \beta\]

modelo_titanicp <-
glm(survived ~ sex,
data = tt,
family = binomial(link = "probit"))

## resultados
mprobit<- as_flextable(modelo_titanicp) 
mprobit<- add_header_lines(mprobit, values = "Tabla #2 Probit")
mprobit
Code 
modelo_titanicp <-
glm(survived ~ sex,
data = tt,
family = binomial(link = "probit"))

## resultados
mprobit<- as_flextable(modelo_titanicp) 
mprobit<- add_header_lines(mprobit, values = "Tabla #2 Probit")
mprobit

Tabla #2 Probit

Estimate

Standard Error

z value

Pr(>|z|)

(Intercept)

-0.823

0.055

-14.866

0.0000

***

sexMujer

1.506

0.089

16.973

0.0000

***

Signif. codes: 0 <= '***' < 0.001 < '**' < 0.01 < '*' < 0.05

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 1415 on 1045 degrees of freedom

Residual deviance: 1102 on 1044 degrees of freedom

Modelo Probit

Code 
prediccion<-predict(modelo_titanicp, newdata = tt, type = "response")
prediccion
#>         1         2         3         4         5         6         7         8 
#> 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 
#>         9        10        11        12        13        14        15        17 
#> 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 
#>        18        19        20        21        22        23        24        25 
#> 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 0.7525773 
#>        26        27        28        29        30        31        32        33 
#> 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 
#>        34        35        36        37        39        40        42        43 
#> 0.7525773 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 
#>        44        45        46        48        49        50        51        52 
#> 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 
#>        53        54        55        56        57        58        59        61 
#> 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 
#>        62        63        64        65        66        67        68        69 
#> 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 
#>        72        73        74        76        77        78        79        80 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.7525773 
#>        82        83        84        85        86        87        88        89 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 
#>        90        91        92        93        94        95        96        97 
#> 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 
#>        98        99       100       101       102       103       104       105 
#> 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 
#>       106       110       111       112       113       114       115       116 
#> 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 
#>       117       118       120       121       123       124       125       127 
#> 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 
#>       128       129       130       131       132       133       134       136 
#> 0.7525773 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 
#>       137       138       139       140       141       142       143       144 
#> 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 
#>       145       146       147       149       150       151       152       154 
#> 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 
#>       155       156       157       159       160       161       162       163 
#> 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 
#>       164       165       166       168       169       170       171       172 
#> 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 
#>       173       174       175       176       178       179       181       182 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 
#>       183       184       186       187       188       189       190       191 
#> 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.7525773 
#>       192       193       194       195       196       198       199       200 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.7525773 
#>       201       202       203       204       206       207       208       209 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 
#>       210       211       212       213       214       215       216       217 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 
#>       218       219       221       222       223       225       226       227 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       228       229       230       231       232       233       234       235 
#> 0.7525773 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 
#>       237       239       240       241       243       244       245       246 
#> 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 
#>       247       248       249       250       251       252       253       254 
#> 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 
#>       256       258       259       260       261       262       263       264 
#> 0.7525773 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 
#>       265       266       267       268       269       271       272       273 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 
#>       274       275       276       277       279       280       281       282 
#> 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 
#>       283       285       286       287       288       289       290       291 
#> 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.7525773 0.2051672 
#>       292       293       295       296       297       299       300       301 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 
#>       302       303       304       305       306       307       308       309 
#> 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 
#>       310       311       312       313       314       315       316       317 
#> 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 
#>       318       320       322       323       324       325       326       327 
#> 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 
#>       328       329       330       331       332       333       334       335 
#> 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 
#>       336       337       338       339       340       341       342       343 
#> 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 
#>       344       345       346       347       348       349       350       351 
#> 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 
#>       352       353       354       355       356       357       358       359 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 
#>       360       361       362       363       365       366       367       368 
#> 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 
#>       369       370       371       372       373       374       375       376 
#> 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 
#>       377       378       379       380       381       382       384       386 
#> 0.2051672 0.7525773 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 
#>       387       388       389       390       391       392       393       394 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 
#>       395       396       397       398       399       400       401       402 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 
#>       403       404       405       406       407       408       409       410 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 
#>       412       413       414       415       416       417       418       419 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 
#>       420       421       422       423       424       425       426       427 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       428       429       430       431       432       433       434       435 
#> 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 
#>       436       437       438       439       440       441       442       443 
#> 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.7525773 0.7525773 0.2051672 
#>       444       445       446       447       448       449       450       451 
#> 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 
#>       452       453       454       455       456       457       458       459 
#> 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 
#>       460       461       462       463       464       465       466       467 
#> 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 
#>       468       469       471       472       473       475       476       477 
#> 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 
#>       479       480       481       482       483       485       486       487 
#> 0.7525773 0.7525773 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 
#>       488       489       490       491       493       494       495       497 
#> 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 
#>       498       499       500       501       502       503       504       505 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 
#>       506       507       508       509       510       511       512       513 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       514       515       516       517       518       519       520       521 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       522       523       524       526       527       528       530       531 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 
#>       533       534       535       536       537       538       539       540 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 
#>       541       542       543       544       545       546       547       548 
#> 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 
#>       549       550       551       552       553       554       555       556 
#> 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 
#>       557       558       559       560       561       562       563       564 
#> 0.2051672 0.7525773 0.7525773 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 
#>       565       566       567       568       569       570       571       572 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 
#>       573       574       575       576       577       578       579       580 
#> 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 
#>       581       583       584       585       586       587       588       589 
#> 0.7525773 0.7525773 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 
#>       590       591       592       593       594       595       597       599 
#> 0.7525773 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 
#>       600       601       602       603       604       605       606       607 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 
#>       608       609       610       611       612       613       614       615 
#> 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 
#>       616       617       618       619       620       621       622       623 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 
#>       624       625       626       627       628       629       630       631 
#> 0.7525773 0.7525773 0.7525773 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 
#>       632       633       634       635       636       637       638       639 
#> 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 
#>       640       641       642       643       644       645       646       647 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 
#>       648       649       650       651       652       653       654       655 
#> 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 
#>       656       657       658       659       660       661       662       663 
#> 0.2051672 0.7525773 0.7525773 0.7525773 0.7525773 0.7525773 0.7525773 0.2051672 
#>       664       665       666       667       668       669       670       671 
#> 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 
#>       672       674       675       676       677       678       679       680 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 
#>       684       685       686       687       688       689       690       691 
#> 0.2051672 0.7525773 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 
#>       692       693       694       695       696       697       698       699 
#> 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 
#>       700       701       702       703       704       705       708       709 
#> 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 
#>       710       711       712       713       714       715       716       717 
#> 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       718       719       720       721       722       723       724       725 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       726       727       728       729       730       731       732       733 
#> 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       734       735       736       737       738       739       740       741 
#> 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 
#>       742       743       744       745       746       747       748       749 
#> 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 
#>       750       751       752       753       754       755       756       759 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       760       761       762       763       764       765       766       767 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 0.2051672 
#>       770       771       772       773       774       775       777       778 
#> 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       779       780       781       782       783       784       785       786 
#> 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 
#>       787       788       789       791       792       793       794       795 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 
#>       797       798       800       804       807       808       810       811 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 
#>       812       815       818       819       821       822       823       824 
#> 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 
#>       825       826       827       828       829       830       831       832 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 
#>       833       834       835       837       838       839       840       841 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 
#>       842       845       846       847       848       849       850       851 
#> 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       852       854       856       858       860       861       862       863 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 0.7525773 0.7525773 
#>       864       865       867       868       869       870       871       874 
#> 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 
#>       876       878       879       881       882       884       885       886 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       889       890       891       892       893       894       895       896 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 
#>       897       898       899       900       905       906       907       908 
#> 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 
#>       909       910       911       912       913       914       915       916 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       917       918       920       925       926       933       934       935 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 
#>       936       937       938       939       940       942       944       948 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.7525773 0.7525773 
#>       950       951       952       953       954       960       961       964 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>       965       966       967       968       969       970       971       973 
#> 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 
#>       975       976       978       979       980       981       982       986 
#> 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 
#>       987       991       993       996       997      1008      1009      1011 
#> 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 
#>      1012      1016      1018      1020      1021      1022      1025      1026 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>      1027      1032      1041      1046      1047      1048      1049      1050 
#> 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 
#>      1051      1052      1057      1058      1059      1060      1061      1062 
#> 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.7525773 0.7525773 
#>      1063      1064      1065      1066      1067      1068      1069      1076 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 
#>      1080      1083      1084      1085      1087      1088      1089      1090 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 
#>      1091      1092      1093      1094      1095      1097      1098      1099 
#> 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 
#>      1100      1101      1102      1103      1104      1105      1106      1107 
#> 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 
#>      1108      1109      1111      1112      1113      1114      1118      1119 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 
#>      1120      1121      1126      1127      1128      1130      1131      1132 
#> 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 
#>      1134      1135      1140      1141      1142      1143      1144      1145 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>      1146      1147      1148      1149      1153      1154      1157      1158 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 
#>      1159      1161      1162      1166      1170      1172      1182      1183 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 
#>      1184      1188      1189      1190      1191      1192      1193      1197 
#> 0.2051672 0.7525773 0.7525773 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 
#>      1202      1204      1205      1206      1207      1208      1209      1210 
#> 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 
#>      1211      1212      1218      1219      1221      1223      1224      1225 
#> 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 
#>      1226      1227      1228      1229      1230      1231      1232      1233 
#> 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 0.7525773 0.2051672 
#>      1234      1235      1236      1237      1238      1239      1240      1241 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>      1245      1249      1252      1253      1255      1257      1258      1259 
#> 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.7525773 
#>      1260      1261      1262      1264      1265      1266      1267      1268 
#> 0.2051672 0.7525773 0.7525773 0.2051672 0.2051672 0.7525773 0.2051672 0.7525773 
#>      1270      1271      1272      1273      1274      1275      1276      1277 
#> 0.2051672 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.7525773 
#>      1278      1279      1280      1281      1282      1286      1287      1288 
#> 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.7525773 0.2051672 
#>      1289      1290      1291      1295      1296      1297      1299      1300 
#> 0.2051672 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672 0.2051672 0.2051672 
#>      1301      1302      1305      1307      1308      1309 
#> 0.7525773 0.2051672 0.7525773 0.2051672 0.2051672 0.2051672

Modelo Probit

Code 
attach(tt)
new<-cbind(sex, prediccion)
head(new, 15)
#>    sex prediccion
#> 1    2  0.7525773
#> 2    1  0.2051672
#> 3    2  0.7525773
#> 4    1  0.2051672
#> 5    2  0.7525773
#> 6    1  0.2051672
#> 7    2  0.7525773
#> 8    1  0.2051672
#> 9    2  0.7525773
#> 10   1  0.2051672
#> 11   1  0.2051672
#> 12   2  0.7525773
#> 13   2  0.7525773
#> 14   2  0.7525773
#> 15   1  0.2051672

Con mas variables

Lo primero desde luego es adherirlas al algoritmo

Code 
modelo_titanic_m <-
glm(survived ~ sex + age + pclass,
data = tt,
family = binomial(link = "logit"))

## resultados
mlog2<- as_flextable(modelo_titanic_m) 
mlog2<- add_header_lines(mlog2, values = "Tabla #3 Logit múltiple")
mlog2

Tabla #3 Logit múltiple

Estimate

Standard Error

z value

Pr(>|z|)

(Intercept)

1.024

0.296

3.457

0.0005

***

sexMujer

2.498

0.166

15.044

0.0000

***

age

-0.034

0.006

-5.433

0.0000

***

pclassClase Intermedia

-1.281

0.226

-5.678

0.0000

***

pclassClase Baja

-2.290

0.226

-10.140

0.0000

***

Signif. codes: 0 <= '***' < 0.001 < '**' < 0.01 < '*' < 0.05

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 1415 on 1045 degrees of freedom

Residual deviance: 982.5 on 1041 degrees of freedom

Con mas variables

  • Predicción con múltiples x
#>    sex     age pclass prediccion_comp
#> 1    2 29.0000      1       0.9258533
#> 2    1  0.9167      1       0.7296211
#> 3    2  2.0000      1       0.9693290
#> 4    1 30.0000      1       0.4981081
#> 5    2 25.0000      1       0.9347616
#> 6    1 48.0000      1       0.3482715
#> 7    2 63.0000      1       0.7949948
#> 8    1 39.0000      1       0.4213810
#> 9    2 53.0000      1       0.8454345
#> 10   1 71.0000      1       0.1950240
#> 11   1 47.0000      1       0.3561182
#> 12   2 18.0000      1       0.9479943
#> 13   2 24.0000      1       0.9368279
#> 14   2 26.0000      1       0.9326326
#> 15   1 80.0000      1       0.1509423

Devianza

La devianza nos indica cuánto se han reducido los residuos a medida que se introducen parámetros al modelo. Por eso también se conoce como devianza residual.

Gracias por su atención!!

Referencias

Heiss, Florian, Stephan Hetzenecker, and Maximilian Osterhaus. 2022. “Nonparametric Estimation of the Random Coefficients Model: An Elastic Net Approach.” Journal of Econometrics 229 (2): 299–321.
Stock, James H, and Mark W Watson. 2015. “Introduction to Econometrics (3rd Updated Edition).” Age (X3) 3 (0.22).

Universidad del Norte